Text copied to clipboard!
Tytuł
Text copied to clipboard!Programista Spark
Opis
Text copied to clipboard!
Poszukujemy Programisty Spark, który dołączy do naszego zespołu zajmującego się przetwarzaniem danych na dużą skalę. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój i optymalizację rozwiązań opartych na Apache Spark, wspierających analitykę danych i procesy ETL w środowiskach Big Data. Idealny kandydat powinien posiadać doświadczenie w pracy z Apache Spark, znać języki programowania takie jak Scala, Java lub Python oraz rozumieć architekturę rozproszoną i zagadnienia związane z przetwarzaniem danych w czasie rzeczywistym.
W naszej firmie stawiamy na innowacyjność, jakość kodu i efektywność rozwiązań. Programista Spark będzie współpracować z zespołami Data Engineering, Data Science oraz DevOps, aby dostarczać skalowalne i niezawodne systemy przetwarzania danych. Oferujemy możliwość pracy z najnowszymi technologiami, udział w projektach międzynarodowych oraz rozwój zawodowy poprzez szkolenia i certyfikacje.
Do głównych zadań będzie należeć tworzenie i utrzymywanie potoków danych, integracja z różnymi źródłami danych (np. Kafka, HDFS, bazy danych relacyjne i NoSQL), optymalizacja wydajności aplikacji Spark oraz zapewnienie wysokiej jakości kodu poprzez testy jednostkowe i przeglądy kodu. Kandydat powinien również znać narzędzia do orkiestracji zadań, takie jak Apache Airflow lub Luigi, oraz mieć doświadczenie w pracy z platformami chmurowymi (np. AWS, Azure, GCP).
Jeśli jesteś osobą analityczną, lubisz rozwiązywać złożone problemy i chcesz pracować w dynamicznym środowisku technologicznym, ta oferta jest dla Ciebie. Dołącz do nas i rozwijaj swoją karierę jako Programista Spark!
Obowiązki
Text copied to clipboard!- Projektowanie i implementacja aplikacji opartych na Apache Spark
- Tworzenie i utrzymywanie potoków danych (ETL)
- Integracja z różnorodnymi źródłami danych (Kafka, HDFS, bazy danych)
- Optymalizacja wydajności aplikacji Spark
- Współpraca z zespołami Data Engineering i Data Science
- Tworzenie testów jednostkowych i dokumentacji technicznej
- Udział w przeglądach kodu i wdrażaniu dobrych praktyk
- Monitorowanie i rozwiązywanie problemów związanych z przetwarzaniem danych
- Wdrażanie rozwiązań w środowiskach chmurowych
- Utrzymywanie wysokiej jakości kodu i zgodności z wymaganiami biznesowymi
Wymagania
Text copied to clipboard!- Doświadczenie w pracy z Apache Spark (batch i/lub streaming)
- Znajomość języka Scala, Java lub Python
- Znajomość systemów plików HDFS i narzędzi Big Data
- Doświadczenie z narzędziami orkiestracji (np. Airflow, Luigi)
- Znajomość baz danych relacyjnych i NoSQL
- Umiejętność pracy w środowisku Linux/Unix
- Doświadczenie z platformami chmurowymi (AWS, Azure, GCP)
- Znajomość zagadnień związanych z przetwarzaniem danych w czasie rzeczywistym
- Umiejętność pracy zespołowej i komunikacji technicznej
- Wykształcenie wyższe techniczne (informatyka, matematyka, inżynieria)
Potencjalne pytania na rozmowie
Text copied to clipboard!- Jakie masz doświadczenie w pracy z Apache Spark?
- W jakich projektach Big Data brałeś/brałaś udział?
- Jakie języki programowania znasz i w jakim stopniu?
- Czy pracowałeś/pracowałaś z narzędziami do orkiestracji zadań?
- Jakie masz doświadczenie z platformami chmurowymi?
- Czy potrafisz optymalizować wydajność aplikacji Spark?
- Jakie znasz źródła danych i jak je integrowałeś/aś?
- Czy masz doświadczenie w pracy z danymi w czasie rzeczywistym?
- Jakie testy jednostkowe stosujesz w swoich projektach?
- Czy posiadasz certyfikaty związane z Big Data lub chmurą?
